Thủ tướng Trung Hoa Dân Quốc

Trong tháng 3 năm 1949, Diêm Tích Sơn đi máy bay đến thủ đô Nam Kinh nhằm mục đích yêu cầu chính phủ trung ương viện trợ nhiều lương thực và đạn dược hơn, đem theo hầu hết ngân quỹ của tỉnh, và từ đó không trở về Thái Nguyên. Một thời gian ngắn sau khi đến Nam Kinh, Diêm Tích Sơn tham gia tranh chấp giữa tổng thống lâm thời Lý Tông Nhân với cựu tổng thống Tưởng Giới Thạch. Mặc dù Tưởng Giới Thạch đã từ chức, song nhiều quan chức và tướng lĩnh vẫn trung thành với ông ta, và Tưởng Giới Thạch giữ lại hơn 200 triệu USD, không cho Lý Tông Nhân sử dụng chúng để chống lại lực lượng Cộng sản hoặc để ổn định tiền tệ. Tranh chấp quyền lực tiếp diễn giữa hai phe phá hoại nghiêm trọng nỗ lực bảo vệ lãnh thổ trước lực lượng Cộng sản.[77]

Diêm Tích Sơn tập trung các nỗ lực của mình nhằm thúc đẩy hợp tác hơn nữa giữa Lý Tông Nhân và Tưởng Giới Thạch. Trong một dịp, Diêm Tích Sơn đổ lệ khi nỗ lực, theo yêu cầu của Tưởng Giới Thạch, để thuyết phục Lý Tông Nhân không từ chức. Ông liên tục sử dụng các ví dụ về việc để mất Sơn Tây, và cảnh báo rằng sự nghiệp của Quốc dân đảng sẽ diệt vong trừ khi quan hệ giữa Lý Tông Nhân và Tưởng Giới Thạch được cải thiện. Lý Tông Nhân cuối cùng nỗ lực thiết lập một chính phủ, gồm cả những người ủng hộ và chỉ trích Tưởng Giới Thạch, với Diêm Tích Sơn là Viện trưởng Hành chính viện, tức thủ tướng. Bất chấp các nỗ lực của Diêm Tích Sơn, Tưởng Giới Thạch chỉ cho Lý Tông Nhân tiếp cận một phần nhỏ so với số của cải mà Tưởng đã đưa đến Đài Loan, và các sĩ quan trung thành với Tưởng từ chối tuân theo lệnh của Lý Tông Nhân, làm thất bại các nỗ lực nhằm phối hợp quốc phòng và ổn định tiền tệ.[78]

Đến cuối năm 1949, vị thế của Quốc dân đảng trở nên tuyệt vọng. Tiền tệ do chính phủ trung ương phát hành nhanh chóng phá giá rồi gần như vô giá trị. Các lực lượng quân sự trung thành với Lý Tông Nhân nỗ lực phòng thủ Quảng Đông và Quảng Tây, trong khi phe trung thành với Tưởng Giới Thạch nỗ lực phòng thủ Tứ Xuyên. Hai lực lượng từ chối hợp tác với nhau, cuối cùng dẫn đến để mất hai khu vực. Các nỗ lực kiên trì của Diêm Tích Sơn nhằm làm việc với hai bên khiến ông bị cả hai bên xa lánh, họ đều bực bội trước việc Diêm Tích Sơn hợp tác với phía bên kia. Đến cuối năm 1949, Giải phóng quân chiếm được toàn bộ lãnh thổ đại lục, Lý Tông Nhân đi lưu vong tại Hoa Kỳ, trong khi Diêm Tích Sơn tiếp tục giữ chức thủ tướng tại Đài Loan cho đến năm 1950, khi Tưởng Giới Thạch tái nhậm chức tổng thống.[79]

Nghỉ hưu tại Đài Loan

Những năm cuối cùng của Diêm Tích Sơn đầy chán ngán và buồn rầu. Sau khi theo Tưởng Giới Thạch đến Đài Loan, ông được bổ nhiệm làm "tư chính Tổng thống phủ", song thực tế hoàn toàn không có quyền lực. Tưởng Giới Thạch có thể có mối thù kéo dài với Diêm Tích Sơn do các hành động của Diêm Tích Sơn nhân danh Lý Tông Nhân tại Quảng Đông. Trong hơn một lần, Diêm Tích Sơn thỉnh cầu được phép đến Nhật Bản, song không được phép rời khỏi Đài Loan.[80]

Diêm Tích Sơn hoàn toàn bị ruồng bỏ, ngoại trừ một số ít người theo, và giành hầu hết những năm còn lại của ông để viết sách về triết học, lịch sử, và các sự kiện đương đại, chúng thường được ông cho dịch sang tiếng Anh.[81] Quan điểm triết học cuối của Diêm Tích Sơn được mô tả là "không tưởng Nho giáo chống Cộng sản và chống tư bản". Một vài tháng trước khi Chiến tranh Triều Tiên nổ ra, Diêm Tích Sơn cho phát hành một cuốn sách mang tên Thế giới hòa bình hay thế giới đại chiến (世界和平與世界大戰), trong đó ông dự đoán chính xác những sự kiện lớn diễn ra sau đó.[82]

Diêm Tích Sơn mất tại Đài Loan vào ngày 24 tháng 5 năm 1960.[81] Ông được an táng tại khu Thất Tinh tại Dương Minh Sơn. Trong hàng thập niên, dinh thự và mộ của Diêm Tích Sơn được một nhóm nhỏ các phụ tá cũ trông nom, họ theo Diêm Tích đến Đài Loan từ Sơn Tây. Năm 2011, khi phụ tá cuối cùng của ông đã 81 tuổi và không thể chăm sóc dinh thự được nữa, trách nhiệm duy trì di tích được trao cho chính quyền thành phố Đài Bắc.[83]